Phạm Đình Chương sinh ngày 14 tháng 11 năm 1929 tại Bạch Mai, Hà Nội. Quê nội ông ở Hà Nội và quê ngoại ở Sơn Tây. Ông xuất thân trong một dòng họ mà hầu hết đều làm văn nghệ. Chú ông là nhà thơ Thế Lữ, nhà văn Trúc Khê, nhạc sĩ Phạm Ngọc Cẩn. Anh ông là họa sĩ Phạm Văn Đôn và nhạc sĩ Phạm Văn Chung.

Cha của Phạm Đình Chương là ông Phạm Đình Phụng. Người vợ đầu của ông Phụng sinh được hai người con trai: Phạm Đình Sỹ và Phạm Đình Viêm. Phạm Đình Sỹ lập gia đình với nữ kịch sĩ Kiều Hạnh và có con gái là ca sĩ Mai Hương. Còn Phạm Đình Viêm là ca sĩ Hoài Trung của ban hợp ca Thăng Long.

Người vợ sau của ông Phạm Đình Phụng có ba người con: Trưởng nữ là Phạm Thị Quang Thái (ca sĩ Thái Hằng, vợ Phạm Duy). Con trai thứ là nhạc sĩ Phạm Đình Chương. Và cô con gái út Phạm Thị Băng Thanh (ca sĩ Thái Thanh).

Phạm Đình Chương theo học trường Bưởi đến trung học thì nghỉ học, gia nhập đoàn ca kịch lưu diễn ở nông thôn vào năm 1946.

Năm 1951, ông về Hà Nội lập ra ban hợp ca Thăng Long nổi tiếng.

Năm 1953, ông lập gia đình với ca sĩ Khánh Ngọc (s.1937, tên thật là Hàn Thị Lan Anh) rồi chuyển vào Sài Gòn sống.

Sau sự kiện 30 tháng 4 năm 1975, ông định cư tại California, Hoa Kỳ.

Ông mất 22 tháng 8 năm 1991 tại California.